我们遵守社交媒体上最近的行为,用户在其中故意从阿拉伯语字母中删除Consonantal Dots,以绕过内容分类算法。内容分类通常是通过微调预先训练的语言模型来完成的,这些语言模型已被许多自然语言处理应用程序采用。在这项工作中,我们研究了在“不所需的”阿拉伯语文本上应用预训练的阿拉伯语模型的效果。我们建议使用预先训练的模型支持所需的文本的几种方法,而无需额外培训,并在两种阿拉伯语自然语言处理下游任务中衡量其性能。结果令人鼓舞;在其中一个任务中,我们的方法显示了几乎完美的性能。
translated by 谷歌翻译
我们建议使用在相对较大的语料库上培训的单词嵌入式来解释隐喻解释的模型。我们的系统处理名义隐喻,就像“时间是金钱”一样。它产生了对给定隐喻的潜在解释列表。从主题(“时间”)和车辆(“MONEY”)组件的搭配中汲取候选意义,从依赖于解析的语料库中提取。我们探索添加来自单词协会规范的候选人(对提示的常见人为响应)。我们的排名程序考虑在语义矢量空间中测量的候选解释和隐喻组件之间的相似性。最后,群集算法去除语义相关的重复项,从而允许其他候选解释获得更高等级。我们使用不同的注释隐喻评估,令人鼓舞的初步结果。
translated by 谷歌翻译
When used in complex engineered systems, such as communication networks, artificial intelligence (AI) models should be not only as accurate as possible, but also well calibrated. A well-calibrated AI model is one that can reliably quantify the uncertainty of its decisions, assigning high confidence levels to decisions that are likely to be correct and low confidence levels to decisions that are likely to be erroneous. This paper investigates the application of conformal prediction as a general framework to obtain AI models that produce decisions with formal calibration guarantees. Conformal prediction transforms probabilistic predictors into set predictors that are guaranteed to contain the correct answer with a probability chosen by the designer. Such formal calibration guarantees hold irrespective of the true, unknown, distribution underlying the generation of the variables of interest, and can be defined in terms of ensemble or time-averaged probabilities. In this paper, conformal prediction is applied for the first time to the design of AI for communication systems in conjunction to both frequentist and Bayesian learning, focusing on demodulation, modulation classification, and channel prediction.
translated by 谷歌翻译
大型文本对图像模型在AI的演变中取得了显着的飞跃,从而使图像从给定的文本提示中实现了高质量和多样化的图像合成。但是,这些模型缺乏在给定的参考集中模仿受试者的外观,并在不同情况下合成它们的新颖性。在这项工作中,我们提出了一种新的方法,用于“个性化”文本图像扩散模型(将它们专门针对用户的需求)。仅作为一个主题的几张图像给出,我们将验证的文本对图像模型(图像,尽管我们的方法不限于特定模型),以便它学会了将唯一标识符与该特定主题结合。一旦将受试者嵌入模型的输出域中,就可以使用唯一标识符来合成主题的完全新颖的光真逼真的图像在不同场景中的上下文化。通过利用具有新的自动构基特异性的先前保存损失的语义先验嵌入到模型中,我们的技术可以在参考图像中未出现的不同场景,姿势,视图和照明条件中合成主题。我们将技术应用于几个以前无用的任务,包括主题重新定义,文本指导的视图合成,外观修改和艺术渲染(所有这些都保留了主题的关键特征)。项目页面:https://dreambooth.github.io/
translated by 谷歌翻译
最近,大规模文本驱动的合成模型由于其出色的产生高度多样化的图像而引起了很多关注,这些图像遵循给定的文本提示。这种基于文本的综合方法特别有吸引力,这些方法对人类用来口头描述其意图。因此,将文本驱动的图像合成扩展到文本驱动的图像编辑是很自然的。编辑对于这些生成模型来说是具有挑战性的,因为编辑技术的先天属性是保留大多数原始图像,而在基于文本的模型中,即使对文本提示的小修改也通常会导致完全不同的结果。最先进的方法可以通过要求用户提供空间掩码来本地化编辑,从而忽略蒙版区域内的原始结构和内容,从而减轻这种方法。在本文中,我们追求一个直观的及时提示编辑框架,其中编辑仅由文本控制。为此,我们深入分析了一个文本条件模型,并观察到跨注意层是控制图像的空间布局与提示中每个单词之间关系的关键。通过此观察,我们提出了几种应用程序,它们仅通过编辑文本提示来监视图像综合。这包括通过替换单词,通过添加规范来替换单词编辑的本地化编辑,甚至精心控制单词在图像中反映的程度。我们介绍了各种图像和提示的结果,证明了对编辑提示的高质量综合和忠诚度。
translated by 谷歌翻译
神经网络的出现彻底改变了运动合成领域。然而,学会从给定的分布中无条件合成动作仍然是一项具有挑战性的任务,尤其是当动作高度多样化时。我们提出了Modi,这是一种无条件的生成模型,可以合成各种动作。我们的模型在完全无监督的环境中训练,从多样化,非结构化和未标记的运动数据集中进行了训练,并产生了一个行为良好,高度语义的潜在空间。我们的模型的设计遵循StyleGAN的多产架构,并将其两个关键技术组件调整为运动域:一组样式编码,这些样式编码注入了生成器层次结构的每个级别和映射功能,并形成了一个学习和形成一个分离的潜在空间。我们表明,尽管数据集中缺乏任何结构,但潜在空间可以在语义上聚集,并促进语义编辑和运动插值。此外,我们提出了一种将未见动作转向潜在空间的技术,并展示了基于潜在的运动编辑操作,否则这些动作无法通过天真地操纵明确的运动表示无法实现。我们的定性和定量实验表明,我们的框架达到了最新的合成质量,可以遵循高度多样化的运动数据集的分布。代码和训练有素的模型将在https://sigal-raab.github.io/modi上发布。
translated by 谷歌翻译
我们研究了对抗性多臂土匪的元学习。我们考虑在线 - 在线设置,其中玩家(学习者)遇到了一系列多臂强盗情节。根据对手产生的损失,球员的表现被衡量为对每一集中最佳手臂的遗憾。问题的难度取决于对手选择的最佳手臂的经验分布。我们提出了一种算法,可以利用这种经验分布中的非均匀性,并得出与问题有关的遗憾界限。该解决方案包括一个内部学习者,该学习者分别播放每个情节,以及一个外部学习者,它更新了情节之间内部算法的超参数。如果最好的手臂分配远非统一,则它可以通过在每个情节上单独执行的任何在没有元学习的在线执行的在线算法来实现的最佳界限。
translated by 谷歌翻译
用全球性结构(例如编织)合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中,我们提出了一种音乐驱动的运动综合框架,其产生与输入节拍同步的人类运动的长期序列,并共同形成尊重特定舞蹈类型的全局结构。此外,我们的框架可以实现由音乐内容控制的不同运动,而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统,包括三个层次:姿势,图案和编排。姿势水平由LSTM组件组成,该组件产生时间相干的姿势。图案级别引导一组连续姿势,形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序,并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性,以在各种舞蹈类型上产生自然和一致的运动,控制合成运动的内容,并尊重舞蹈的整体结构。
translated by 谷歌翻译
我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题,我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法,我们描述了许多此类并证明了遗憾。然后,我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降,弗兰克 - 沃尔夫算法,重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单,因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。
translated by 谷歌翻译
在这项工作中,我们调查目的在于对流畅损失功能的期望,目标是找到近似静止点的目标。处理此类问题的最流行的方法是方差减少技术,也已知在这种情况下获得紧密的收敛速率,在这种情况下匹配下限。 Nevertheless, these techniques require a careful maintenance of anchor points in conjunction with appropriately selected "mega-batchsizes".这导致了一个充满挑战的超参数调整问题,削弱了他们的实用性。最近,[Cutkosky和Orabona,2019]已经表明,可以使用递归动量以避免使用锚点和大量批量,并且仍然获得该设置的最佳速率。然而,他们称为Storm的方法至关重要地依赖于平滑度的知识,以及梯度规范的束缚。在这项工作中,我们提出了暴风雨+,一种完全无参数的新方法,不需要大量批量尺寸,并获得最佳O $ O(1 / T ^ {1/3})$速率查找近似静止点。我们的工作在风暴算法上构建,结合一种新的方法,以便自适应地设置学习率和动量参数。
translated by 谷歌翻译